Cũng vì quá sâu sắc với công trình xây cất "ngôi nhà vĩnh cửu" của mình mà có lần suýt nữa, Gia Long đã thiệt mạng trong một tai nạn ở công trường. Một trận gió làm sập ngôi nhà mà vua đang trú ngụ, vua Gia Long tuy đã ẩn trong một cái hố nhưng vẫn bị thương ở trán, mí mắt và bị dập chân do một thanh xà rơi trúng. Hai hoàng tử thứ bảy và thứ tám là Tấn và Phổ bị trọng thương, nhiều người khác bị chết. Gia Long không trừng phạt các quan lại thi công, ngược lại đã cấp thuốc men để chạy chữa cho họ, cấp phát 500 quan tiền và 500 tiêu chuẩn gạo cho dân làng Định Môn, gần nơi xây dựng lăng.